Khalid được sinh ra vào khoảng năm 592 tại Mecca. Cha ông là Walid ibn al-Mughirah, tộc trưởng của gia tộc Banu Makhzum của bộ lạc Quraysh Ả Rập. Khi còn nhỏ, Walid đã được biết đến ở Mecca với danh hiệu al-Waheed - "Người duy nhất".[4] Mẹ Khalid tên là Lubabah al-Sughra bint al-Harith, chi gái của Maymunah bint al-Harith - vợ Môhamet.[5]

Không lâu sau khi được sinh ra, theo truyền thống của bộ lạc Quraysh, Khalid được gửi đến một bộ lạc Bedouin ở sa mạc, nơi mà ông được một người mẹ nuôi cho bú và nuôi lớn trong bầu không khí trong lành, khô và không bị ô nhiễm của sa mạc. Ở tuổi năm hoặc sáu, ông trở về với cha mẹ ở Mecca. Khi còn bé, Khalid mắc phải bệnh đậu mùa. Mặc dù ông đã sống sót, nhưng nó đã để lại một số vết sẹo bên má trái của ông.[6]

Ba gia tộc hàng đầu của bộ lạc Quraysh tại thời điểm đó là Banu Hashim, Banu Abd ad-Dar và Banu Makhzum - gia tộc sau này chịu trách nhiệm về các vấn đề chiến tranh. Là một thành viên của gia tộc Makhzum, những kỵ sĩ giỏi nhất Ả Rập, Khalid học cách cưỡi ngựa và sử dụng vũ khí như thương, giáo, kiếm và bắn cung. Trong số các loại vũ khi, ông thích dùng thương nhất. Thời trẻ, ông được ngưỡng mộ như một chiến binh và đô vật nổi tiếng trong bộ lạc Quraysh.[7] Khalid là anh em họ của Umar, Khalip thứ hai trong tương lai, và họ trông rất giống nhau.[8]